# -*- coding: utf-8 -*-

# （一）试题一：爬取猫眼（68分）
# 9.	将电影按照评分排序 （8分）
# （二）试题二：对爬取数据操作（32分）
# 1.    将获取的全部内容存成txt（8分）
# 2.    存入mysql数据库,并建立相应字段（8分）
# 3.    存入mongodb数据库（8分）
# 4.    存成CSV格式数据（8分）

import scrapy
from ..items import Maoyan1Item


class Top100Spider(scrapy.Spider):
    name = 'top100'
    start_urls = []
    # 8.	实现top100翻页（8分）
    for page in range(0, 100, 10):
        url = 'https://maoyan.com/board/4?offset=' + str(page)
        start_urls.append(url)

    def parse(self, response):
        # 1.	获取top100页面源码（4分）
        # print(response.text)
        # 2.	获取top100更新时间（8分）
        # bangdanshijian = response.xpath("//div[@class='main']/p[@class='update-time']/text()")[0].extract()
        all_dd = response.xpath("//dl[@class='board-wrapper']/dd")
        for dd in all_dd:
            # 3.	获取top100全部电影名（8分）
            title = dd.xpath(".//p[@class='name']/a/text()")[0].extract()
            # 4.	获取top100全部电影主演（8分）
            stars = dd.xpath(".//div[@class='movie-item-info']/p[@class='star']/text()")[0].extract().strip()
            # 5.	获取top100全部电影上映时间（8分）
            date = dd.xpath(".//p[@class='releasetime']/text()")[0].extract()
            # 6.	获取top100全部电影评分（8分）
            score = dd.xpath("string(.//p[@class='score'])")[0].extract()
            # 7.	获取top100全部电影的排名（8分）
            number = dd.xpath("./i/@class")[0].extract()[24:]

            item = Maoyan1Item()
            item['title'] = title
            item['stars'] = stars
            item['date'] = date
            item['score'] = score
            item['number'] = number
            yield item
